Brooke chịu ảnh hưởng từ thành công của các nhà phiêu lưu người Anh trước đó và kỳ tích của Công ty Đông Ấn Anh. Các hành động của ông tại Sarawak nhằm bành trước Đế quốc Anh cũng như giúp ích cho sự thống trị của nó, giúp đỡ cư dân bản địa chống hải tặc và chế độ nô lệ, và đảm bảo thịnh vượng cá nhân. Năng lực của ông và những người kế vị giúp Sarawak có hàng ngũ lãnh đạo ưu tú và thịnh vượng trong các thời điểm khó khăn, kết quả là cả danh tiếng và tai tiếng. Ông được Sultan bổ nhiệm làm Rajah, tiếp đến được phong hiệp sĩ, cho thấy các nỗ lực của ông được hoanh nghênh phổ biến trong xã hội Sarawak cũng như Anh.[cần dẫn nguồn]

Trong các mối quan hệ đồn thổi của ông, có mối quan hệ với một lãnh chúa Sarawak tên là Badruddin, ông từng viết "tình yêu của tôi cho ông ấy sâu nặng hơn bất kỳ ai tôi biết." Sự diễn đạt này khiến một số người cho rằng ông là người đồng tính luyến ái hoặc song tính luyến ái. Đến năm 1848, Brooke bị cho là hình thành quan hệ với Charles T. C. Grant 16 tuổi, cháu nội của Bá tước xứ Elgin thứ bảy, người này được cho là 'đáp lại'.[10][11] Một trong các nhà tiểu sử gần đây về Brooke viết rằng do Brooke dành những năm cuối đời tại Burrator thuộc Devon "có chút nghi ngờ... ông dính vào nhục dục đồng tính nam tại Totnes."[12]. Những người khác đề xuất rằng Brooke đáng ra là "đồng tính xã hội" và đơn thuần là thích bầu bạn xã hội với người đàn ông khác và không đồng ý với khẳng định ông là người đồng tính luyến ái.[13]

Mặc dù ông chưa từng kết hôn, ông thừa nhận có một con trai, song không rõ nhận dạng của mẹ đứa trẻ hay ngày sinh đứa trẻ. Đứa con này được nuôi dưỡng với tên Reuben G. Walker trong ngôi nhà tại Brighton của Frances Walker (theo điều tra nhân khẩu năm 1841 và 1851, có vẻ sinh khoảng năm 1836). Đến năm 1858, ông nhận thức được liên hệ với gia tộc Brooke và đến năm 1871 trong điều tra nhân khẩu tại giáo xứ Plumtree, Nottinghamshire ông được ghi là "George Brooke", tuổi "40", nơi sinh "Sarawak, Borneo". Ông kết hôn (năm 1862[14]) và có bảy con, ba người con sống qua tuổi vị thành niên. George qua đời khi đang đi đến Úc, do tàu SS British Admiral bị đắm[15][16] vào ngày 23 tháng 5 năm 1874. Một bia kỷ niệm ghi năm sinh là 1834 được đặt trong nghĩa địa tại Plumtree.[17]

James Brooke là người rất hâm mộ các tiểu thuyết của Jane Austen, và có thể đọc đi đọc lại chúng, kể cả đọc lớn tiếng với bạn đồng hành tại Sarawak.[18]